Seorang ahli Parti Demokratik Liberal (LDP), Kaifu berjaya meraih kerusi pada pilihan raya umum 1960 Jepun dan mengambil alih jawatan sebagai ahli termuda Diet Kebangsaan.[4] Beliau berkhidmat selama enam belas tempoh, berjumlah 49 tahun secara keseluruhan. Kaifu merupakan Menteri Pendidikan sebelum meningkat naik untuk memimpin parti itu selepas peletakan jawatan Takeshita Noboru dan Sōsuke Uno.[5] Menghadapi Yoshiro Hayashi dan Shintaro Ishihara,[6] Kaifu dipilih di pelantar kepimpinan yang bersih.[7][8] Beliau menjadi Perdana Menteri Jepun ke-76 pada Ogos 1989.[9]

Pada 10 Ogos 1991, Kaifu menjadi pemimpin pertama sebuah negara besar yang membuat lawatan rasmi ke China dan memecahkan pengasingan diplomatik China selepas Peristiwa Dataran Tiananmen pada 4 Jun 1989.[10] Kaifu menamatkan penyertaan Jepun dalam sekatan ekonomi terhadap China dan menawarkan $949.9 juta dalam pinjaman dan tambahan $1.5 juta dalam bantuan kecemasan berikutan kerosakan banjir di selatan China pada Jun dan Julai.[11] Pada 1991 beliau menghantar Angkatan Mairitim Pertahanan Diri ke Teluk Parsi selepas tercetusnya Perang Teluk.[12]

Sepanjang dua tempoh Kabinetnya, puak Kaifu terlalu kecil untuk meneruskan pembaharuan yang dicarinya, dan kesan berterusan daripada skandal Sagawa Express menyebabkan masalah. Beliau meletak jawatan pada November 1991 dan digantikan oleh Kiichi Miyazawa.[13]

Pada 1994, beliau meninggalkan LDP untuk menjadi ketua Parti Sempadan Baharu yang baru ditubuhkan.[14][15] Beliau menyokong parti Ichirō Ozawa sehingga beliau kembali ke LDP pada 2003.[16] Beliau dikalahkan dalam pilihan raya 2009 oleh calon DPJ Mitsunori Okamoto,[17] yang menyaksikan berakhirnya penguasaan LDP yang memerintah hampir tidak dicabar sejak 1955. Pada masa kekalahannya, beliau merupakan yang paling lama berkhidmat sebagai ahli dewan rendah Diet Jepun, dan beliau juga merupakan bekas Perdana Menteri pertama yang dikalahkan pada pemilihan semula sejak 1963.[18]